Lê Hữu Trác vốn có tên cúng cơm là Huân (薰), biểu tự Cận Như (瑾如), bút hiệu Quế Hiên (桂軒), Thảo Am (草庵), Lãn Ông (懶翁), biệt hiệu cậu Chiêu Bảy (舅招𦉱), sinh ngày 12 tháng 11[2] năm Canh Tí (1720) tại xóm Văn Xá, hương Liêu Xá, huyện Đường Hào, phủ Thượng Hồng, trấn Hải Dương (nay là xã Liêu Xá, huyện Yên Mỹ, tỉnh Hưng Yên). Tuy nhiên, cuộc đời ông phần nhiều (đặc biệt là từ năm 26 tuổi đến lúc mất) gắn bó với ở quê mẹ thôn Bàu Thượng, xã Tĩnh Diệm, huyện Hương Sơn, phủ Đức Quang, trấn Nghệ An (nay là xã Quang Diệm, huyện Hương Sơn, tỉnh Hà Tĩnh). Ông là con thứ bảy của tiến sĩ Lê Hữu Mưu và phu nhân Bùi Thị Thưởng [3].

Dòng tộc ông vốn có truyền thống khoa bảng; ông nội, bác, chú (Lê Hữu Kiều), anh và em họ đều đỗ Tiến sĩ và làm quan to. Thân sinh của ông từng đỗ Đệ tam giáp Tiến sĩ, làm Thị lang Bộ Công triều Lê Dụ Tông, gia phong chức Ngự sử, tước Bá, khi mất được truy tặng hàm Thượng thư (năm Kỷ Mùi 1739). Khi ấy, Lê Hữu Trác mới 20 tuổi, ông phải rời kinh thành về quê nhà, vừa trông nom gia đình vừa chăm chỉ đèn sách, mong nối nghiệp gia đình, lấy đường khoa cử để tiến thân. Nhưng xã hội bấy giờ rối ren, các phong trào nông dân nổi dậy khắp nơi. Chỉ một năm sau (1740), ông bắt đầu nghiên cứu thêm binh thư và võ nghệ, "nghiên cứu trong vài năm cũng biết được đại khái, mới đeo gươm tòng quân để thí nghiệm sức học của mình" (Tựa "Tâm lĩnh"). Chẳng bao lâu sau, ông nhận ra xã hội thối nát, chiến tranh chỉ tàn phá và mang bao đau thương, làm ông chán nản muốn ra khỏi quân đội, nên đã nhiều lần từ chối sự đề bạt. Đến năm 1746, nhân khi người anh ở Hương Sơn mất, ông liền viện cớ về nuôi mẹ già, cháu nhỏ thay anh, để xin ra khỏi quân đội, thực sự "bẻ tên cởi giáp" theo đuổi chí hướng mới.